ایندکس (index) شدن به معنی ثبت صفحات وب‌سایت شما در پایگاه داده یک موتور جستجو مثل گوگل است؛ تا در صورتی که کاربران عبارتی مرتبط با موضوع صفحه شما را در گوگل جستجو کردند آن صفحه به عنوان یکی از نتایج جستجو به کاربر نمایش داده شود.
با توجه به الگوریتم موتورهای جستجو، رعایت اصول سئو و موارد مختلف دیگری ممکن است سایت شما در صفحه نتایج جستجو رتبه‌های مختلفی کسب کند. ممکن است صفحهای از سایت شما در صفحه اول و صفحهای دیگر در صفحه دهم نتایج نمایش داده شود. حتی ممکن است صفحهای اصلاً در گوگل ایندکس نشود چه برسد به اینکه بخواهد به کاربر نمایش داده شود!
همواره بعد از انتشار هر مطلبی در سایت خود در ابتدا باید از ایندکس شدن آن اطمینان حاصل کنید و سپس به دنبال راه‌هایی برای کسب رتبه بهتر در نتایج با استفاده از تکنیک‌های سئو (SEO) باشید.
پس برای آگاهی از ایندکس بودن و نمایش صفحات سایتتان در لیست نتایج گوگل و همچنین علل ایندکس نشدن برخی صفحات ساییتان حتماً این مطلب را تا آخر مطالعه فرمایید.
ایندکس شدن (Indexing) چیست؟
ایندکس شدن به معنی ثبت شدن صفحات سایت شما در پایگاه داده موتورهای جتسجو است. بدین صورت وقتی کاربری برای مثال عبارتی را در گوگل جستجو می‌کند؛ گوگل در بین تمامی صفحات ثبت شده در پایگاه داده خود به جستجو می‌پردازد و مفید‌ترین و مرتبط‌ترین نتایج را به کاربر نمایش می‌دهد.
برای این منظور موتورهای جستجو از نوعی ربات اینترنتی به نام خزنده، عنکبوت یا اسپایدر کمک می‌گیرند که به صورت 24 ساعته در حال خزیدن و جستجوی وب برای پیدا کردن اطلاعات جدید است. این رباتها اطلاعات مختلف و مهم صفحات وب را برای موتور جستجو ارسال می‌کنند و این موتورها در صورت برقراری شرایط لازم، صفحات ارسال شده را در یک پایگاه اطلاعاتی عظیم ثبت می‌کنند.این فرآیند را در اصطلاح ایندکس (index) شدن صفحه وب گویند.
در این پایگاه داده هر صفحه وب به همراه کلمات کلیدی مرتبط به آن (کلماتی که موضوع اصلی یک صفحه را مشخص می‌کنند)، آدرس دامین و معیارهای مهمی که گوگل از آن برای رتبه‌بندی سایت‌ها استفاده می‌کند ذخیره می‌شود.
وقتی کاربری کلمه یا عبارتی را در موتور جستجو وارد می‌کند این فهرست‌بندی کمک می‌کند که کلمات وارد شده توسط کاربر با کلمات کلیدی که از قبل برای صفحات وب مختلف در دیتابیس فهرست‌بندی شده است تطبیق داده شود و صفحات وبی که مرتبط با جستجوی کاربر هستند از بقیه صفحات فیلتر و جدا شوند.
از این طریق است که موتورهای جستجو دیگر لازم نیست برای هر جستجوی کاربر، کل صفحات وب دنیا را در لحظه بررسی کنند . چون قبلاً اطلاعات مهم آن صفحات را از طریق ربات‌های خود دریافت و فهرست‌بندی کرده‌اند؛ حالا دسترسی به آنها در کسری از ثانیه رخ می‌دهد.
بعد از جستجوی کاربر در موتور جستجو، گوگل با توجه به عبارت وارد شده توسط کاربر و با توجه الگوریتم خود برای رتبه‌بندی سایت‌ها، نتایجی که برای کاربر مفید‌تر و مرتبط‌تر است را به ترتیب اولویت به او نمایش می‌دهد.
چطور متوجه شویم صفحات سایتمان ایندکس شده است؟
در ابتدا بهتر است یک اشتباه رایج مبتدیان را متذکر شوم. ایندکس شدن هر صفحه از سایت شما و رتبه گرفتن آن در موتور جستجو کاملاً به صورت مستقل بررسی می‌شود. یعنی ممکن است صفحه اصلی سایت شما ایندکس شود ولی صفحهای که مربوط به فروش یکی از محصولاتتان است در گوگل نمایش داده نشود.
البته به طور غیر مستقیم وضعیت کلی ایندکس و نمایش صفحات سایتتان بر سایر صفحات سایت هم اثر می‌گذارد ولی در اصل هر صفحه به صورت مستقل ایندکس شده و در گوگل رتبه کسب می‌کند.
برای اینکه متوجه شوید که آیا صفحهای از سایتتان در گوگل ایندکس شده و در لیست نتایج نمایش داده می‌شود معمولاً دو راه وجود دارد :
جستجو در گوگل
کافی است آدرس صفحه مربوطه را با کوئری site:URL در گوگل جستجو نمایید و اگر نتیجه‌ای برای آن نمایش داده شد یعنی صفحه مربوطه ایندکس شده و در لیست نتایج قابل نمایش است.
اگر فقط آدرس اصلی سایت را در قسمت URL بنویسید اکثر صفحات ایندکس شده آن سایت در گوگل نمایش داده می‌شود. اگر هم آدرس URL را برای یک صفحه خاص از یک سایت وارد کنید؛ آنگاه فقط ایندکس بودن آن صفحه خاص بررسی می‌شود.
خوبی این روش این است که لازم نیست برای بررسی ایندکس بودن یک صفحه، سایت مربوطه متعلق به شما باشد.
استفاده از گوگل سرچ کنسول
اولین اقدام بعد از راه‌اندازی هر سایت باید ثبت آن در Google Search Console باشد. تا هم گوگل بهتر بتواند صفحات سایت شما را پیدا کند و هم با مشکلات و خطاهایی که گوگل از سایت شما می‌گیرد آشنا شوید.
اگر آدرس یک صفحه خاص از سایت خود را در این ابزار وارد کنید به راحتی می‌توانید اطلاعات ایندکس بودن یا نبودن آن صفحه به همراه آخرین تاریخ خزیدن ربات‌های گوگل در سایت خود را بررسی نمایید.
همچنین اگر صفحه مربوطه ایندکس نشده باشد می‌توانید علت آن را جویا شده و درخواست ایندکس شدن صفحه را انجام دهید. اگر هم صفحه قبلاً ایندکس شده باشد و شما تغییراتی در صفحه مورد نظر اعمال کرده باشید می‌توانید درخواست کنید تا صفحه مربوطه دوباره بررسی شود.
اگر نقشه سایت خود را هم در سرچ کنسول وارد کرده باشید صفحات شما بهتر توسط گوگل پیدا شده و اطلاعات به مراتب جامع‌تری از وضعیت کلی ایندکس صفحات سایت خود بدست خواهید آورد.
چرا صفحات سایتم ایندکس نمی‌شود؟
با مفهوم ایندکس شدن صفحات سایت آشنا شدید. بسیار با سایت‌هایی برخورد کرده‌ام که به مدت چندین ماه در حال تولید محتوا بوده‌اند و از عدم بازدیدکننده کافی برای سایت خود گلایه می‌کردند و علت آن جز یک اشتباه کوچک یا بی دقتی ساده در تنظیمات سایتشان نبوده است. پس در ادامه به معرفی رایج‌ترین دلایل ایندکس نشدن صفحات سایت می‌پردازم تا جلوی اشتباهات مشابه گرفته شود.
پاسخی غیر از کد 200 از سمت سرور
اگر سرور شما در پاسخ به درخواست بازدید یک صفحه کدی غیر از 200 را ارجاع دهد؛ یعنی در مشاهده صفحه مورد نظر مشکلی وجود دارد و به احتمال زیاد آن صفحه توسط موتورهای جستجو ایندکس نخواهد شد. حال این مشکل می‌تواند به علت خطاهای سمت سرور یا ریدایرکت‌های غلط یا موجود نبودن صفحه و یا موارد دیگر باشد.
توسط ابزار HTTPStatus.io می‌توانید وضعیت پاسخ دریافتی از سمت سرور را برای هر صفحهای بررسی کنید.
بلاک شدن صفحه از طریق فایل Robots.txt
برای تعیین سطح دسترسی ربات‌های خزنده، معمولاً در روت تمامی وب‌سایت‌ها فایلی به نام Robots.txt وجود دارد که محتوای آن را می‌توانید از طریق هاست خود و با دستورالعمل خاصی ویرایش نمایید.
همچنین اگر به آدرس example.com/robots.txt مراجعه کنید (آدرس سایت خود را جایگزین کنید)؛ می‌توانید محتوای این فایل را مشاهده نمایید. ممکن است در خطی از این فایل دسترسی خزنده گوگل به سایت شما بسته شده باشد. به طور کلی اگر عبارت Disallow در این فایل وجود دارد حتماً عبارت جلوی آن را بررسی کرده تا مشکلی برای ایندکس شدن سایت شما ایجاد نکند. مثلاً یک علامت اسلش / یا ستاره * به تنهایی می‌تواند جلوی ایندکس شدن کل سایت را بگیرد.
موارد اشتباه
Disallow: /
Disallow:/*
در قسمت تنظیمات سایتهای وردپرسی و در بخش تنظیمات خواندن، گزینه‌ای وجود دارد که دسترسی ربات گوگل به سایت شما را می‌بندد و اگر این گزینه دارای تیک باشد تغییراتی در فایل robots.txt شما ایجاد می‌شود که مانع از دسترسی ربات گوگل به سایتتان می‌شود. پس اگر سایت وردپرسی دارید حتماً از تیک نخوردن این قسمت آگاهی پیدا کنید.
استفاده از تگ متای Noindex
برای مشاهده کدهای HTML درون یک صفحه، روی آن کلیک راست نمایید و روی گزینه view page source کلیک کنید. ممکن است درون تگ <head> صفحه مربوطه از تگ متا با ویژگی content=noindex استفاده شده باشد. همچنین اگر فایل مربوطه به صورت کدهای HTML نباشد ممکن است در هدر آن درخواستی به عنوان x-robots-tag و به صورت noindex وجود داشته باشد.
توسط این درخواست‌ها دسترسی رباتها در سطح یک صفحه یا فایل بررسی می‌شود. مثلاً شاید شما بخواهید جلوی نمایش برخی صفحات سایت خود در گوگل را بگیرید. پس کافیست تگ متای مربوطه را در صفحه مورد نظر قرار دهید تا از ایندکس شدن آن جلوگیری شود.
اگر سایت وردپرسی دارید اکثر افزونه‌های سئو مثل Yoast و Rank Math، بدون نیاز به دست بردن شما در کدهای سایت این کار را برایتان انجام می‌دهند.
وجود صفحات تکراری در سایت
اگر در سایت شما صفحاتی تکراری وجود داشته باشد ممکن است گوگل آنها را ایندکس نکند و حتی در صورت ایندکس شدن رتبه خوبی به آنها ندهد.
پس اگر در سایت خود صفحهای دارید که مقدار زیادی از محتوای آن مشابه با صفحه دیگری از سایتتان است می‌تواند دلیلی بر ایندکس نشدن آن باشد. برای بررسی این موضوع می‌توانید از ابزار Siteliner کمک بگیرید.
این ابزار صفحات سایت شما که دارای محتوای یکسان هستند را شناسایی کرده ، محتوای تکراری را برای شما مشخص می‌کند و همچنین با نموداری میزان محتوای تکراری درون سایت شما را نمایش می‌دهد.
بسیار مهم است که اگر در سایت خود صفحاتی با موضوعات مشابه دارید، تمام صفحات فرعی یا کپی را با استفاده از تگ link و ویژگی canonical به آدرس اصلی لینک دهید. البته در صورت داشتن سایت وردپرسی باز هم افزونه‌های مربوطه شما را از دست بردن در کدها بی‌نیاز خواهند کرد.
محتوای تکراری از سایتهای دیگر
اگر محتوای سایتتان کپی شده از محتوای سایتهای دیگر باشد نشانه‌ای بر بی‌کیفیت بودن سایت شما نزد گوگل است و حتی می‌تواند بر سایر صفحات سایت شما که مطلب کپی در آن وجود ندارد هم تاثیر منفی بگذارد.
گوگل صراحتاً در صفحه نتایج جستجو بیان می‌کند که برای تجربه بهتر کاربران صفحاتی که مطالب یکسانی دارند را از لیست نتایج حذف می‌کند.
برای بررسی این موضوع می‌توانید قسمتی از محتوای صفحه خود را درون دابل کوتیشن قرار داده و در گوگل جستجو نمایید. همچنین در هنگام نوشتن عنوان صفحه و توضیحات متا دسکریپشن حتماً قبلش در گوگل جستجو کرده و از تکراری نبودن آنها مطلع شوید.
البته برای این منظور ابزار Copyscape هم وجود دارد که می‌توانید از آن استفاده نمایید.
بی ارزش بودن نزد گوگل
ممکن است یک صفحه یا به طور کلی سایت شما انقدر بی کیفیت باشد که گوگل ارزش کافی برای ایندکس شدن آن را ارزیابی نکند.
برای مثال سایت‌هایی که محتوایشان به صورت اتوماتیک و توسط رباتها از سایر سایت‌ها جمع‌آوری می‌شود، سایتهای پر از تبلیغات مزاحم ، سایتهای پر از لینک‌های همکاری در فروش ، سایت‌هایی که فاکتورهای تخصص و صلاحیت درباره یک موضوع خاص را ندارند ، سایت‌هایی که تبدیل به مزرعه اسپم و بک لینک شده‌اند، سایت‌هایی که بدون ارایه ارزش و محتوای مفید به کاربر و تنها با به کارگیری تکنیک‌های سئو کلاه سیاه در پی کسب رتبه در گوگل هستند همگی مصداق سایتهای بی‌کیفیت و کم ارزش هستند.
همچنین در حین انتشار یک مطلب در سایت خود بررسی کنید که چگونه می‌توانید ارزشی بیشتر از سایتهای موجود دیگر در نتایج گوگل به کاربران ارایه کنید. اگر درباره موضوعی مطلب می‌نویسید که سایتهای دیگر قبلاً آن را پوشش داده‌اند و توضیحات و محتوای شما تقریباً تکراری است چه دلیلی وجود دارد که سایت شما نسبت به یک سایت با سابقه طولانی‌تر و دارای اعتماد نزد گوگل رتبه بهتری کسب کند؟
سایت تازه تاسیس شده
سایتهای تازه تاسیس شده آنقدر نزد گوگل دارای اعتبار نیستند که مطالبشان به سرعت ایندکس شود. یعنی شما باید کم کم و در طول زمان اعتماد گوگل را جذب کنید تا به مطالب شما اهمیتی بیشتری بدهد.
سیگنال‌های مهم در سئو به خصوص لینک‌هایی که از سایتهای دیگر به سایت شما داده می‌شود و اشتراک گذاری مطالب شما در شبکه‌های اجتماعی همگی نشانه‌ای برای گوگل از کیفیت بالای مطالب شماست.
پس اگر سایتتان تازه راه‌اندازی شده علاوه بر انتشار مستمر و منظم محتوا ، کیفیت و جذابیت آن و همچنین اشتراک‌گذاری مطالب خود در شبکه‌های اجتماعی به خصوص فیسبوک و توییتر را مد نظر داشته باشید.
مستمر و منظم به این معنی که اگر 5 پست آماده دارید، انتشار آنها را در طول هفته تقسیم کنید و بدین صورت نباشد که 5 پست را در یک روز منتشر کرده و تا یک هفته مطلبی برای انتشار نداشته باشید!
یادتان باشد که سرعت خزیدن ربات گوگل در سایتتان کاملاً بستگی به ریتم انتشار محتوا در سایتتان دارد. اگر هر دو روز یکبار مطلب منتشر می‌کنید ربات گوگل هم هر دو روز یکبار به شما سر خواهد زد. اگر هم هر روز مطلب منتشر می‌کنید ربات گوگل هم سریع‌تر به شما سر می‌زند. البته در این خصوص کیفیت و با ارزش بودن محتوای خود را نسبت به سرعت انتشار در اولویت قرار دهید و در عین حال زیاد هم کمال‌گرا نباشید که انتشار پستتان از زمان‌بندی به عقب بیفتد.
نکته دیگر در مورد سایتهای تازه تاسیس اینکه همان‌طور که قبلاً هم تاکید کردم علاوه بر ثبت سایت خود در گوگل سرچ کنسول، حتماً نقشه سایت را هم به آن معرفی نمایید.
پس به طور کلی برای ایندکس سریع صفحات تازه خود :
- سایت خود را در گوگل سرچ کنسول ثبت کنید.
- نقشه سایت خود را به سرچ کنسول معرفی کنید.
- در سرچ کنسول url صفحه مورد نظر را وارد کرده و درخواست ایندکس دهید.
- برای صفحه مورد نظر لینکسازی داخلی انجام دهید و بک لینک بسازید.
- لینک صفحه را در شبکه های اجتماعی منتشر کنید. (ترجیحاً فیسبوک و توییتر و به همراه چند خط توضیح و هشتگ مرتبط)
- اگر سایتهای دیگری دارید از آنها به سایت جدید لینک دهید.
- از رپورتاژ خبری برای لینک سازی خارجی استفاده نمایید.
سرعت بارگذاری سایت
اگر سرعت لود صفحات سایت شما پایین باشد و یا کاربران در دسترسی به صفحهای از سایت شما با مشکل مواجه شوند امکان حذف آن صفحه از ایندکس گوگل وجود دارد.
نکته اینکه سرعت سایت خود را با اینترنت و مرورگر خود به طور کیفی نسنجید! سرعت لود سایت شما با توجه به مکان جغرافیایی کاربران و سرعت اینترنت هر فرد می‌تواند کاملاً متفاوت باشد! برای بررسی سرعت سایت خود و آگاهی از خطاهای موجود می‌توانید از ابزارهای Google Page Speed Insights و GTMetrix استفاده نمایید.
این ابزارها فاکتورهای مهم و دخیل در سرعت سایت را بررسی کرده و برای بهبود آنها به شما راهکارهایی را پیشنهاد می‌دهند.
صفحات یتیم یا تنها در سایت شما
در بخش آموزش سئو آکادمی بهمنی در مقاله‌ای طرز کار موتورهای جستجو را بیان کردم. در واقع ربات گوگل با خزیدن در وب‌سایت‌های مختلف و از طریق لینک‌های موجود در هر صفحه، به سایر صفحات وب دسترسی پیدا می‌کند. برای درک بهتر این موضوع می‌توانید دو مطلب زیر را مطالعه فرمایید :
این عمل خزیدن ربات گوگل در سطح وب و پیدا کردن مطالب جدید از طریق لینک‌ها همواره و به صورت 24 ساعته در حال انجام است. پس اگر لینکی چه به صورت داخلی و چه به صورت خارجی به صفحهای از سایت شما داده نشود آن صفحه یتیم مانده است و از نظر گوگل وجود ندارد.
در نتیجه واجب است که حداقل در صفحات سایت خود به دیگر مطالب سایتتان لینک بدهید(لینکسازی داخلی انجام دهید). حتماً و حتماً هم آخرین مطالب منتشر شده در سایت خود را هم در صفحه اصلی سایتتان نمایش دهید.
امیدوارم با مطالعه این راهنما توانسته باشید مشکل مربوط به عدم نمایش صفحات سایتتان در گوگل و یا سایر موتورهای جستجو را حل نمایید. بعد از ثبت شدن صفحات سایتتان در لیست نتایج گوگل نوبت به بهبود رتبه آن می‌رسد. پس اگر با سئو آشنایی ندارید حتماً راهنمای کامل سئو برای مبتدیان را در آکادمی بهمنی مطالعه فرمایید.
مثل همیشه اگر با مشکل یا سؤالی مواجه هستید در بخش نظرات پاسخگوی شما هستم.
